Đã có người cư trú ở hòn đảo này trong hàng ngàn năm, nhưng các hồ sơ hiện tại chỉ ghi nhận đến thời kỳ Edo. Chính quyền Mạc phủ Tokugawa chỉ định Mikura-jima, cùng với phần còn lại của quần đảo Izu là nơi lưu đày, và có tới 10% cư dân đảo hiện tại là hậu duệ của những người lưu vong chính trị.[2]

Năm 1714, chính quyền Mạc phủ Tokugawa phái một quan chức là Kochikuin Okuyama đến đảo để xúc tiến công việc xuất khẩu gỗ từ đảo để kiếm tiền.[2]

Năm 1863, một con tàu gồm 460 lao động Trung Quốc và 23 thủy thủ Hoa Kỳ bị đắm tàu trên đảo. Mặc dù vào thời điểm đó, dân chúng Nhật Bản đã được Mạc phủ Tokugawa ra lệnh giết hoặc giam giữ bất kỳ người nước ngoài nào nhập cảnh Nhật Bản mà không được phép, nhưng cư dân ở Mikura-jima đã đối xử tử tế và hiếu khách với đội tàu bị đắm.[2]